Otto Gerstenberg verkaufte zu Lebzeiten nur wenige Arbeiten seiner Sammlung. Bekannt ist, dass es sich 1922 von der Sammlung der Altmeistergrafik und von den niederländischen Gemälden des 17. und 18. Jahrhunderts trennte. Nach Gerstenbergs Tod im Jahre 1935 erbte seine Tochter Margarethe Scharf die Sammlung. Diese bewohnte jedoch nicht die elterliche Villa und hatte sich 1937 auf der großen Grundstück des Palais Gerstenberg ein eigenes Haus von Hans Scharoun errichten lassen. Da sie in diesem kleineren Haus nicht alle Bilder des Vaters unterbringen konnte, deponierte sie viele der großformatigen Bilder im Magazin der Victoria-Versicherung in der Berliner Lindenstraße. Bei einem Bombenangriff während des 2. Weltkrieges wurde dieser Teil des Victoria-Gebäudes zerstört und alle dort gelagerten Gemälde verbrannten. Hierzu gehörte beispielsweise Courbets „Le réveil ou Venus et Psyché“. Im April 1943 übergab Margarethe Scharf wegen der verstärkten Bombenangriffe auf Berlin einen Großteil der Sammlung zur Aufbewahrung an die Nationalgalerie. Diese nutzte die als sicher geltenden Flaktürme „Zoobunker“ und „Friedrichshain-Bunker“ auch zur Einlagerung ihrer eigenen Sammlungen. Am 2. Mai 1945 besetzten russische Truppen die Flaktürme und transportierten in der Folgezeit die darin befindlichen Kunstsammlungen nach Russland ab. Zahlreiche Werke aus der Sammlung Gerstenberg befinden sich heute als so genannte Beutekunst in der Eremitage in Sankt Petersburg und im Puschkin-Museum. Hierzu zählen „Le fardeau“ von Daumier, „Dans le jardin“ von Renoir, „Der Mönch“ von El Greco und „Place de la Concorde“ von Degas.
Während des Krieges und kurz nach dem zweiten Weltkrieg transportierte Margarethe Scharf die verbleibenden Werke der Sammlung teils mit dem Zug und teils mit einem Bauernwagen nach Oberstdorf in Bayern, wo die Familie ebenfalls ein Anwesen besaß. Aufgrund wirtschaftlicher Schwierigkeiten in der Nachkriegszeit war Margarethe Scharf gezwungen einige bedeutende Werke zu veräußern. So verkaufte sie 1953 Manets „Au café“ an den schweizer Sammler Oskar Reinhart. Noch heute befindet sich ein Teil der ursprünglichen Sammlung Gerstenberg in Familienbesitz. Hierzu gehört die weltweit umfassendste Sammlung von Originalgrafiken Toulouse-Lautrecs. Diese Sammlung wurde immer wieder öffentlich ausgestellt, so 2003 in Wien, 2004 in Chemnitz und 2005 in Luxemburg und München. Otto Gerstenbergs Enkel Dieter Scharf gründete kurz vor seinem Tod die „Stiftung Sammlung Dieter Scharf zur Erinnerung an Otto Gerstenberg“. Ab Frühjahr 2008 sind die Kunstwerke dieser Stiftung im Museum Scharf-Gerstenberg in Berlin zu sehen. Hierzu gehören auch Grafiken von Giovanni Battista Piranesi, Francisco de Goya, Charles Meryon, Victor Hugo, Édouard Manet und Max Klinger aus der Sammlung von Otto Gerstenberg.